Một tế bào nhiên liệu có cấu tạo đơn giản bao gồm ba lớp nằm trên nhau. Lớp thứ nhất là điện cực nhiên liệu (cực dương), lớp thứ hai là chất điện phân dẫn ion và lớp thứ ba là điện cực khí ôxy (cực âm). Hai điện cực được làm bằng chất dẫn điện (kim loại, than chì,...). Chất điện phân được dùng là nhiều chất khác nhau tùy thuộc vào loại của tế bào nhiên liệu, có loại ở thể rắn, có loại ở thể lỏng và có cấu trúc màng. Vì một tế bào riêng lẻ chỉ tạo được một điện thế rất thấp cho nên tùy theo điện thế cần dùng nhiều tế bào riêng lẻ được nối kế tiếp vào nhau, tức là chồng lên nhau. Người ta thường gọi một lớp chồng lên nhau như vậy là stack.

Ngoài ra, hệ thống đầy đủ cần có các thiết bị phụ trợ như máy nén, máy bơm, để cung cấp các khí đầu vào, máy trao đổi nhiệt, hệ thống kiểm tra các yêu cầu, sự chắc chắn của sự vận hành máy, hệ thống dự trữ và điều chế nhiên liệu.